（来源：上观新闻）
让我们用一😥个简化示例说🌖🧨明，假设训练语⬇🤰料包含🦆🏳以下词汇及出现频😯率： “👺hug”：1🥫🇸🇮0次 “pug🗑”：5次 “p🐩un”：12次⚽ “bu😫⛺n”：4次 “h🚥🐱ugs”：5次⛎ 第一步：🧜♂️♾️将所有🥴👂词拆分🧖♂️为字符，添加🤳结束符 “h🤝ug”👚 → “h u 🦏🛶g ” 🤬“pug” →😳🎚 “p u🔤 g ” ☦🎡“pun” →🚭 “p u🇨🇽🏓 n ” “👑🎄bun” →🔚 “b✔ u 🦹♀️n ” “hug🇧🇧📳s” → 📁“h u 🤼♂️🔬g s ” 初始🏋️♀️词汇表仅包含基础🦷字符：🚽🈷{b,😝 g, 🈵↗h, n, 🍇p, s, u🍒🍁, } ↖🥜第二步：🎗🇳🇴统计相邻字🇭🇹🦷符对的出现频率 🖨“u g”🇮🇨🇬🇱：15次（来自👩🦱🧕“hug”😈的10次 +☺ “hugs”🈹🐺的5次） “u🐃🚐 n”：✈💷16次（来自“p🔞🛬un”的🇨🇷🧤12次 + “b🐘🗺un”的🖨👏4次） “p u👩👩👦👦🇨🇺”：17次（来自🚛“pug”的5🐻次 + 🇱🇹“pun”的12🛀次） 第三步：☯合并最🏴⛹高频字符对 🥯假设“🔯p u”🇦🇫🙅频率最高（🗞17次），创建新🇾🇪符号“pu”， 🌇词汇表扩🚴♀️展为：🤼♀️{b, g🎃, h, n,🇵🇹 p,🌍⏫ s, u, 🚉, pu}🎲🤽♀️ 第四步：迭🇪🇷🆕代重复 继续统计🇧🇼新语料中的字符🦗对频率⏫，合并下一个最2️⃣高频对，📵直到达到预🦶设的词汇表大🇰🇳小（如GP👨✈️🇪🇦娜娜麻豆国产电影T-2为🖐50,25🚇↔7个token）🏏。
我们对这🔀🌤批数据做🚅了一次🎊深度分析，🤦♀️🎢发现了几个反直💾🥔觉的规🚃🐀律： 发🇧🇿现一：近🔙80%的创业🌂者是"分析型👜🤨"，靠直觉决策🤧的人只👨👨👧♻有20% 🗣♈很多人以为🇲🇹🧝♀️创业者是🍢🇱🇸一群"跟👄🕚着感觉走"👨💼🖇娜娜麻豆国产电影的人🐸。但在汽车激光雷🎤🕤达这个赛道，降价🇰🇪🇵🇰先于降本，主机厂✡🖍拥有足够🥓大的议价与控本🚡能力💹㊗。
